賢者大叔的容器修煉手札 第 29 篇

混沌工程概念初探：在風暴前學會讀天象 🌪🧪

今日目的：建立一套「理解、設計、評估混沌工程」的心智地圖。
明白「為什麼」與「怎麼想」，永遠比「怎麼做」更重要。
工具只是放大器，錯誤心智 + 強力工具 = 更快撞牆。

為什麼需要混沌工程？

在微服務與雲原生世界裡，系統更像一個「有機城市」：

• 服務之間有依賴，像道路網路
• 資料庫、快取、API Gateway 像公共設施
• 突發延遲、節點故障、網路抖動，就像交通事故或停電

傳統測試（單元 / 整合 / 壓力測試）大多在「理想條件」下進行。結果是上線後才發現：

• 某個下游服務慢 300ms，上游竟然堆滿連線池
• 短暫 DNS 解析失敗導致重試風暴
• 單個 pod 被殺，整體 p95 latency 飆高 3 倍

→ 這些問題往往不在純壓測中出現。

傳統測試：假設「路況永遠晴天」
混沌工程：在「受控環境」預演下雨、塞車、事故，確認：

• 有沒有偏離「預期交通節奏」（穩態）
• 備用路線是否真的有效（降級 / fallback）
• 護欄（速限 / 紓壓機制）是否啟動如預期
  與其等風暴來，不如在安全範圍內「預演」風暴，驗證系統是否具備恢復力。

混沌工程的核心骨架（七大基石）

盲點：混沌工程 ≠ 盲目破壞

混沌工程不是「隨機摧毀」，而是「科學實驗」——像醫生診斷。

核心名詞與解構

Steady State（穩態）

系統健康時「可重現、可量測」的行為基線。通常會在壓測之前預熱 5–10 分鐘取得平均與分位數。
為什麼重要：沒有穩態就不知道「實驗造成了什麼影響」。

常見 SLI：

p95 latency < 300ms
error rate < 1%
RPS >= 200
CPU 使用率 < 70%

Hypothesis（假設）

在進行特定故障注入時，系統「仍能保持穩態」的預期描述。
句型：當（某故障條件）發生時，指標在（時間範圍）內維持於（允許範圍）。

例：當對 payment-service 注入 400ms 延遲 60 秒，
    需要 p95_latency < 600ms 且 error_rate < 2%。

Blast Radius（爆破半徑）

故障實驗可影響的最大範圍（服務集合 / 流量比例 / 使用者分群 / 區域）。
核心：風險「可理解、可預期、可回收」。

Guardrails（護欄）

自動預防實驗造成不可接受影響的限制條件（實驗熔斷器）。

error_rate > 5% 或 p99_latency > 1.2s 持續 30 秒 → 自動中止

Tail Latency（尾延遲）

高百分位延遲（p95、p99），代表少數「慢請求」。
為什麼重要：使用者體驗與資源連鎖效應常被尾延遲拖垮。
混沌觀察點：延遲注入後，p95 是否擴散到 upstream（上游服務也慢）。

Cascading Failure（級聯故障）

單一路徑延遲 / 失敗 → 資源耗盡 → 拓散到其他服務。
策略：控制爆破半徑，避免初期就造成難以收斂的鏈式錯誤。

故障類型分類

明天要介紹的 xk6-disruptor 聚焦：通訊層 + 局部應用層異常。

為什麼「效能測試 + 故障注入」要結合？

錯誤做法（常見）：

1. 先做負載測試（理想環境）
2. 再做混沌實驗（低流量）
   → 遺漏「高壓 + 故障」的真實情境

真實事故典型組合：

• 高峰期間 + 下游慢 200ms → 線程耗盡 / 連線池排隊
• 重試策略 + 網路抖動 → 雪崩效應
• Cache 遺失 + 突增流量 → DB 壓爆

xk6-disruptor 的價值：

• 在同一個測試腳本裡，同步施加「流量」與「故障」
• 提早發現「壓力 + 異常」聯鎖效應（Tail Latency 擴散、Retry Storm）

混沌工程的成熟度模型

餐廳類比（幫助具象化）

xk6-disruptor 就像在「尖峰時段」刻意安排：

• 供應延遲 500ms
• 某桌點單丟 20%
  再測試餐廳（系統）是否維持節奏（穩態）。

執行時的心理模型對照

混沌實驗句型模板

我們在設計混沌測試的實驗時，通常也會設計這些模板，來讓我們設計測試案例。

當我們在【範圍/對象】施加【故障類型 + 強度】持續【時間】，我們預期【穩態指標集合】仍維持在【允許區間】，否則視為【失敗條件 + 回收動作】。

範例：
當我們對「訂單服務單一實例」施加 400ms 平均延遲持續 20 秒，我們預期整體下單 API 的 p95 < 600ms 且錯誤率 < 2%；若錯誤率 > 5% 或 p99 > 1.2s 連續 30 秒，立即終止實驗並紀錄結果。

常見反模式（Anti-Patterns）

為什麼尾延遲（Tail Latency）要優先？

心態轉換

總結

1. 混沌工程核心在「科學驗證韌性」，不是破壞
2. 沒穩態 = 不可量測 → 不建議開始
3. 假設句 = 異常條件 + 預期指標行為 + 判斷成敗
4. 小爆破半徑建立信任與可復現性
5. 護欄 = 團隊安全感（技術 + 心理）
6. 核心指標：p95/p99、錯誤率、重試、飽和度
7. 報告是知識資產，不是形式
8. 成熟度是漸進演進路徑
9. 反模式：無穩態 / 無護欄 / 無報告
10. 下一步：寫出第一份紙上實驗 → 再接工具落地

真正的可靠性，不是避開風暴，而是設計出能預測與吸收風暴能量的系統。